VISTA: A Visual Harness for Reasoning in an Interactive World
VISTA：交互世界中的视觉推理框架
🧭 视觉增强多模态 Agent 长程推理
Massachusetts Institute of Technology
多模态模型通过无损视觉记忆和主动视觉检索，在交互环境中大幅提升推理与行动效率
📌 工作参考价值（4 点）
- 无损视觉记忆可复用：在电商多模态 Agent 中，保留商品图、详情页截图等原始视觉信息，避免早量压缩，提升长程浏览与比较任务的表现。
- 主动视觉检索机制：让模型自行决定何时回看历史视觉观察（如之前看过的商品、对比图），减少人工设计的状态管理，适用于购物助手、视觉搜索等交互场景。
- 迭代视觉工具调用：将视觉输入拆解为可重组的片段（裁剪、放大、并排比较），在推理时动态调用，比一次性全图编码更灵活，适合复杂商品页面的多区域分析。
- 低适配成本：VISTA 的设计便于迁移到不同视觉环境，从业者可尝试将类似 harness 嵌入已有 VLM Agent，快速提升在视觉决策任务中的表现。